加权CSP（WCSP）的重新定义（WCSP）的重新定位概念（也称为WCSPS的等价 - 保存的变换）是众所周知的并且在许多算法中找到其使用以近似或绑定最佳WCSP值。相比之下，已经提出了超级reparamureIzations的概念（这是保留或增加每个任务的WCSP目标的权重的变化），但从未详细研究过。为了填补这一差距，我们展示了一些超级reparamizations的理论属性，并将它们与重新定位化的差异进行比较。此外，我们提出了一种用于使用超级Reparamizations计算（最大化版本）WCSP的最佳值的上限的框架。我们表明原则上可以采用任意（在某些技术条件下）约束传播规则来改善绑定。特别是对于电弧一致性，该方法减少到已知的虚拟AC（VAC）算法。新的，我们实施了Singleton ARC一致性（SAC）的方法，并将其与WCSPS在公共基准上的其他强大局部常量进行比较。结果表明，从SAC获得的界限对于许多实例组优越。
translated by 谷歌翻译
2022-11-24
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
To apply federated learning to drug discovery we developed a novel platform in the context of European Innovative Medicines Initiative (IMI) project MELLODDY (grant n{\deg}831472), which was comprised of 10 pharmaceutical companies, academic research labs, large industrial companies and startups. The MELLODDY platform was the first industry-scale platform to enable the creation of a global federated model for drug discovery without sharing the confidential data sets of the individual partners. The federated model was trained on the platform by aggregating the gradients of all contributing partners in a cryptographic, secure way following each training iteration. The platform was deployed on an Amazon Web Services (AWS) multi-account architecture running Kubernetes clusters in private subnets. Organisationally, the roles of the different partners were codified as different rights and permissions on the platform and administrated in a decentralized way. The MELLODDY platform generated new scientific discoveries which are described in a companion paper.
translated by 谷歌翻译
准确的睡眠阶段分类对于睡眠健康评估很重要。近年来，已经开发了几种基于深度学习和机器学习的睡眠阶段算法，并且在人类注释方面取得了表现。尽管性能提高，但最深入学习算法的局限性是其黑盒行为，它限制了它们在临床环境中的使用。在这里，我们提出了跨模式变压器，这是一种基于变压器的睡眠阶段分类的方法。我们的模型通过最先进的方法实现了竞争性能，并通过利用注意模块的可解释性方面消除了深度学习模型的黑盒行为。提出的跨模式变压器由一种新型的跨模式变压器编码器结构以及多尺度的一维卷积神经网络组成，用于自动表示学习。基于此设计的我们的睡眠阶段分类器能够以与最先进的方法相同或更好地达到睡眠阶段分类性能，以及可解释性，参数数量减少了四倍，并且比较培训时间减少了。到当前的最新。我们的代码可从https://github.com/jathurshan0330/cross-modal-transformer获得。
translated by 谷歌翻译
基于得分的生成模型（SGM）通过运行时间转移的随机微分方程（SDE）从高斯白噪声中合成新数据样本，其漂移系数取决于某些概率分数。此类SDE的离散化通常需要大量的时间步骤，因此需要高计算成本。这是因为我们通过数学分析的分数的不良条件特性。我们表明，通过将数据分布分配到跨尺度的小波系数的条件概率的产物中，可以将SGMS大大加速。最终的小波得分生成模型（WSGM）在所有尺度上都以相同的时间步长合成小波系数，因此其时间复杂性随着图像大小而线性增长。这在数学上是在高斯分布上证明的，并在相变和自然图像数据集中的物理过程上以数值显示。
translated by 谷歌翻译
有必要开发负担得起且可靠的诊断工具，该工具允许包含COVID-19的扩散。已经提出了机器学习（ML）算法来设计支持决策系统以评估胸部X射线图像，事实证明，这些图像可用于检测和评估疾病进展。许多研究文章围绕此主题发表，这使得很难确定未来工作的最佳方法。本文介绍了使用胸部X射线图像应用于COVID-19检测的ML的系统综述，旨在就方法，体系结构，数据库和当前局限性为研究人员提供基线。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们通过与与前面令牌的局部相似度，通过调节从大语料库检索的文档块来增强自动回归语言模型。尽管使用25美元\时分，我们的检索增强型变压器（RetroCro）的检索增强型变压器（RetroCr）对GPT-3和侏罗纪-1获得了可比性的性能。微调后，复古表演转换为下游知识密集型任务，如问题应答。复古结合了冷冻BERT猎犬，一种可微分的编码器和块状的横向机制，以预测基于数量级的令牌，而不是训练期间通常消耗的数量。我们通常从头开始训练复古，还可以快速改造预先接受的变压器，通过检索，仍然达到良好的性能。我们的工作通过以前所未有的规模开辟了通过显式内存改进语言模型的新途径。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译